Vés al contingut

Entropia condicional

De la Viquipèdia, l'enciclopèdia lliure

L'entropia condicional és una extensió del concepte d'entropia de la informació en processos on intervenen diverses variables aleatòries no necessàriament independents.[1]

Definició

[modifica]

Suposem que és una variable aleatòria sobre un espai de probabilitat i sigui un esdeveniment. si pren valors sobre un conjunt finit , Es defineix de manera natural l'entropia condicional de donat com:[2]

De la mateixa manera si és una altra variable aleatòria que pren valors es defineix l'entropia condicional com:

Es pot interpretar l'anterior magnitud com la incertesa de donat un valor particular de , Amitjanat per tots els valors possibles de ..

Propietats[3]

[modifica]
  • Trivialment s'esdevé que
  • si i són variables independents.
  • Donades dues variables que prenen un conjunt finit de valors:
  • Com a conseqüència de l'anterior i que , Es té: .

Vegeu també

[modifica]

Referències

[modifica]
  1. «Probability of error, equivocation, and the Chernoff bound». IEEE Transactions on Information Theory, 16, 4, 1970.
  2. «David MacKay: Information Theory, Pattern Recognition and Neural Networks: The Book».
  3. T. Cover; J. Thomas Elements of Information Theory, 1991. ISBN 0-471-06259-6. 

Bibliografia

[modifica]